3D Gaussian Splatting（3DGS）

現実空間を仮想空間に再現する3D再構成技術の一つである．

3DGSには（1）観測データから仮想空間を構成する再構成過程と（2）仮想空間を用いて任意視点からの画像を生成する描画過程の2つの過程がある．

1. 再構成過程では，仮想空間上に多数のぼやけた楕円体（3D Gaussian）を配置することで現実空間を再現する

2. 描画過程では，画像面に仮想空間上の3D Gaussianを投影（Splatting）することで画像を生成（レンダリング）する

他の3D再構成技術との違い

table:3DGSと他の3D再構成技術の比較

360度画像フォトグラメトリ NeRF 3DGS

任意方向の閲覧〇〇〇〇

自由な視点移動 × 〇〇〇

特徴の無い構造/反射〇 × 〇〇

リアルタイムレンダリング〇〇 × 〇

各手法の課題（×）

360度画像：撮影位置から動くことができない

フォトグラメトリ：特徴の無い構造や反射などを再現できない

NeRF：レンダリングでニューラルネットワーク推論を行うため，時間がかかる

詳細な再構成手順

1. 多視点画像の収集

空間を様々な位置・角度から撮影した画像を準備

2. カメラ推定・3DGS初期化

多視点画像からカメラ位置を推定（Cf. Structure from Motion（SfM））

多視点画像とカメラ位置から大まかな3D Gaussianを作成

3. レンダリング

3D Gaussianを入力画像面に投影して画像を生成

4. 3DGSの最適化

生成画像（再構成結果）を入力画像（正解）に近づけるように3DGSを最適化

具体的には，画像差分や類似度などの目的関数を用いてGaussianのパラメータを調整（勾配降下法）

※最適化と同時に，3D Gaussianを適切に分割する手法（Adaptive Density Contorol（ADC））を用いて，再現精度を高めるように3D Gaussianの密度を補正する処理も行われる．

サービス例

LumaAI：サーバ処理による物体・空間の再構成

Scaniverse：ローカル（スマホ）処理で物体・空間の再構成

Arrival Space：メタバース構築プラットフォーム

撮影のコツ

カメラの解像度を上げる

動画時間を長くしすぎない

参考